Năm 1946, quân Pháp nổ súng tái chiếm Bán đảo Đông Dương. Anh xung phong tình nguyện nhập ngũ năm 1946, trở thành chiến sĩ liên lạc, lên dần đến chức vụ tiểu đội trưởng bộ binh. Anh được bạn đồng đội nhận xét là một người dũng cảm, táo bạo, mưu trí trong chiến đấu. Anh từng nổi tiếng với thành tích với 1 lưỡi dao cùn bắt sống được một binh sĩ Pháp và thu được một khẩu tiểu liên, được tặng Huân chương Chiến công vì thành tích "tay không bắt giặc" này.